Institut Pertanian Bogor (IPB) resmi berdiri pada tanggal 1 September 1963 berdasarkan SK Menteri Perguruan Tinggi dan Ilmu Pengetahuan (PTIP) No 91 tahun 1963. Pada saat itu IPB terdiri atas 5 fakultas, yaitu Fakultas Pertanian, Fakultas Kedokteran Hewan, Fakultas Perikanan, Fakultas Peternakan, dan Fakultas Kehutanan.  Fakultas Teknologi dan Mekanisasi Pertanian adalah fakultas ke 6 di IPB dan berdiri pada tahun 1964. Fakultas ke 7 adalah Fakultas Sains dan Matematika (FSM) yang berdiri pada tahun 1980 berdasarkan SK Rektor No 078/1980. Lalu pada tanggal 7 September 1982 FSM resmi menjadi FMIPA (Fakultas Matematika dan Ilmu Pengetahuan Alam) berdasarkan Keputusan Presiden No 46 tahun 1982. Dalam rangka menindaklanjuti Keputusan Presiden tersebut, Rektor kemudian pada tanggal 29 Desember 1982 menetapkan jurusan-jurusan yang ada di FMIPA melalui SK Rektor No 121, yaitu Jurusan Botani yang berasal dari Departemen Botani Fakultas Pertanian, Jurusan Zoologi yang berasal dari Departemen Zoologi Fakultas Kedokteran Hewan, Jurusan Kimia yang berasal dari Departemen Biokimia Fakultas Kedokteran Hewan, Jurusan Agrometeorologi yang berasal dari Bagian Klimatologi Departemen IPA Fakultas Pertanian, dan Jurusan Statistika yang berasal dari Departemen Statistika dan Komputasi Fakultas Pertanian.

Pada masa awal ini dapat dikatakan bahwa FMIPA merupakan gabungan dari beberapa unit yang berada di Fakultas Pertanian dan Fakultas Kedokteran Hewan. Walaupun demikian, pentingnya ilmu-ilmu dasar untuk mendukung ilmu-ilmu pertanian dan kedokteran hewan di IPB sudah disadari sejak awal berdirinya IPB. Hal ini dibuktikan dengan adanya Departemen Ilmu Pengetahuan Alam (IPA) di Fakultas Petanian dan adanya kerjasama Indonesia-USA dalam pengembangan ilmu-ilmu dasar kealaman seperti botani, fisika, kimia, fisiologi hewan, mikrobiologi veteriner, dan zoology.

Berdasarkan Keputusan Menteri Pendidikan dan Kebudayaan melalui SK No 0546/O/1983 tanggal 8 Desember 1983 ditetapkanlah nama enam jurusan di FMIPA secara resmi, yaitu: Jurusan Statistika, Jurusan Biologi, Jurusan Geofisika dan Meteorologi, Jurusan Kimia, Jurusan Matematika, dan Jurusan Mata Kuliah Dasar Umum (MKDU).

Pada tahun 1989 lahir UU No 2/1989 tentang Sistem Pendidikan Nasional yang kemudian diikuti dengan PP No 30/1990 tentang kelembagaan jurusan dan program studi. Jurusan merupakan unsur pelaksana akademik pada fakultas yang melaksanakan program akademik atau professional, sedangkan program studi merupakan program penyelenggaraan pendidikan akademik atau professional. Berdasarkan peraturan dan perundang-undangan tersebut, maka ditetapkanlah bahwa:

• Program Studi Statistika diasuh oleh Jurusan Statistika
• Program Studi Agrometeorologi diasuh oleh Jurusan Geofisika dan Meteorologi
• Program Studi Biologi diasuh oleh Jurusan Biologi
• Program Studi Kimia diasuh oleh Jurusan Kimia
• Program Studi Matematika diasuh oleh Jurusan Matematika
• Program Studi Ilmu Komputer diasuh oleh Jurusan Statistika dan Jurusan Matematika.

Program Studi Matematika resmi berdiri pada tahun 1992 berdasarkan SK Dirjen Dikti Departemen Pendidikan dan Kebudayaan No 177/DIKTI/Kep/1992 tanggal 25 Mei 1992. Selanjutnya pada tanggal 15 Juli 1993 FMIPA IPB resmi membuka Program Studi Ilmu Komputer. Jurusan Ilmu Komputer resmi berdiri pada tanggal 17 September 1998 melalui SK Rektor No 095/K13/HK/KP/1998 yang mewadahi Program Studi Ilmu Komputer. Jurusan Fisika berdiri pada tanggal 2 Oktober 1996 sehingga Program Studi Fisika dialihkan dari Jurusan Geofisika dan Meteorologi ke Jurusan Fisika. Jurusan Fisika resmi berdiri berdasarkan SK Dirjen Dikti No 380/DIKTI/Kep/1997 pada tanggal 25 Septembet 1997. Karena tuntutan perlunya pengembangan ilmu biokimia, maka pada tanggal 28 November 2001 berdasarkan SK Rektor No 180/K13.12.1/PP/2001 disahkan pembukaan Program Studi Biokimia yang diasuh oleh Jurusan Kimia.

Sehubungan dengan perubahan status IPB menjadi Badan Hukum Milik Negara (BHMN) serta berdasarkan pada struktur oraganisasi IPB yang baru maka organisasi IPB didasarkan pada program berbasis departemen. Keputusan Rektor No 120/K13/OT/2003 yang ditetapkan pada tanggal 27 Agustus 2003 mengubah penggunaan istilah Jurusan menjadi Departemen pada fakultas di lingkungan IPB. Berdasarkan SK Rektor No 098/K13/KP/2005 telah dilakukan penataan departemen di lingkungan IPB, dan dari hasil penataan ini lahirlah Departemen Biokimia yang mengasuh Program Studi Biokimia.

Pada saat ini, selain Program Studi S1, semua Departemen di FMIPA juga mengasuh Program Studi S2, bahkan Departemen Geofisika dan Meteorologi dan Departemen Biologi juga telah mengasuh Program Stdi S3. Selain mengasuh Program Studi S1, S2 dan S3, beberapa departemen di FMIPA, yaitu Departemen Biologi, Departemen Kimia, Departemen Matematika, dan Departemen Fisika juga mengasuh mata kuliah-mata kuliah dasar di tahun pertama bersama (TPB) yang diikuti oleh seluruh mahasiswa IPB.